Fixed 64 bit Linux build.

Fixes from Ian Pratt. extern declaration of bind_ipi was out of sync with
the definition of the function.

Signed-off-by: James Bulpin <james@xensource.com>

Because of a bug with reference counting against the target guest page
when searching the list for L1 shadow pages to write protect that page
(at shadow_promote(), which is called by alloc_shadow_page()), the code
was always scanning _all_ the entries in the hash list. The length of
the hash list can be >500 for L1 shadow pages, and for each page we
needed to check all the PTEs in the page.

The patch attached does the following things:
- Correct the reference count (for the target guest page) so that=20
  it can exit the loop when all the L1 shadow pages to modify are found.
  Even with this, we can search the entire list if the page is at=20
  the end.
- Try to avoid the search in the hash list, by having a
  back pointer (as a hint) to the shadow page pfn. For most cases,=20
  there is a single translation for the guest page in the shadow.
- Cleanups, remove the nested function fix_entry

With those, the kernel build performance, for example, was improved
approximately by 20%, 40% on 32-bit, 64-bit unmodified Linux guests,
respectively. Tested log-dirty mode for plain 32-bit as well.

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>
Signed-off-by: Asit Mallick <asit.k.mallick@intel.com>

Revert accidental commit.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Merged.

Remove the diagnostic/recovery when two domains end up with the same name.  It
was working around bugs that have gone, and is now more dangerous than useful
-- deadlock is a possibility with this code now.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Cleanup CPU hotplug and save/restore. Next step is to
simplify SMP initial boot and then should be easy to merge
i386 and x86/64 smpboot.c.

Signed-off-by: Keir Fraser <keir@xensource.com>

Merge.

Fix broken test for zombies.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix multi-cpu save/restore after the max_vcpu patch.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix client dependency on libxenstore in Makefile.
Signed-off-by: Keir Fraser <keir@xensource.com>

NS_PER_TICK must be a s64 quantity. It is compared with
possibly -ve values which we do not want to 'promote' to
big +ve values.

Signed-off-by: Keir Fraser <keir@xensource.com>

Currently, we mark an IO request to STATE_IOREQ_READY state before
calling IO handlers in xen HV, i.e. vmx_portio_intercept or
vmx_mmio_intercept.  Actually, STATE_IOREQ_READY means it's ready for
DM handling, only if IO handlers in xen HV won't handle it, it should
be passed to DM. This patch fixes this issue.

Signed-off-by: Yunhong Jiang <yunhong.jiang@intel.com>
Signed-off-by: Xin Li <xin.b.li@intel.com>
Signed-off-by: Nakajima Jun <nakajima.jun@intel.com>

Add memory barriers to console ring accesses. Similar to what
Rusty uses for xenbus messaging.

Signed-off-by: Keir Fraser <keir@xensource.com>

Disable watch callbacks only during driver registration instead of all probes.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Disable watch callbacks while running the driver probe callback.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Change xenstore-domain messaging protocol to match what we use
for other inter-domain comms (power-of-two-sized rings, and
free-running indexes). The interface is defined in the spirit of
the console protocol, so maybe some chance of merging them
together later?

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix xsls build dependency.
Signed-off-by: Keir Fraser <keir@xensource.com>

Add a option for enabling ne2000 NIC device model

Signed-off-by: Yan Li <yanx.li@intel.com>
Signed-off-by: Xiaofeng Ling <xiaofeng.ling@intel.com>
Signed-off-by: Edwin Zhai <edwin.zhai@intel.com>

Refactor domain/vcpu allocation to be more separated.
Signed-off-by: Keir Fraser <keir@xensource.com>

    Keir moved barriers,
        Competence questions are raised:
        Correctness withers.

Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>

Fix error output to stderr in xc_linux_build.
Signed-off-by: Scott Parish <srparish@us.ibm.com>

New dom0_op to set max vcpus for a domain.

Signed-off-by: Ryan Harper <ryanh@us.ibm.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix 64-bit compile warnings in firmware.
Signed-off-by: Keir Fraser <keir@xensource.com>

Merged.

Merged.

Make the error reporting back to xm just a little bit less insane, and fix a
missing import inside blkif.  Fix the command parsing for op_device_destroy and
op_device_configure -- the device IDs should be strings, to allow the user to
specify devices by name as well as number.

This is the second half to the fixes for bug #315.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

merge

Fix firmware build for cross-compilation.
Signed-off-by: Keir Fraser <keir@xensource.com>

Ignore any watches that fire for which we do not have a registration.  This can
happen if there are watches in flight at the same time as a deregistration, and
also seems to happen spuriously on xend restart.

This fixes the Invalid token error that has been seen on xend restart.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Don't try and call DevController if we can't destroy a device ourselves,
because we are already inside the ValueError exception handler, so we know that
the give device identifier is not an integer, and DevController.destroyDevice
only accepts integers.  Fixes bug #315.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Improve error message.

Explicitly state which architectures are going to use /usr/lib64, to allow for
the fact that Itanium does not.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix the handling of EAGAIN from the transaction_end; we were failing to do any
work if the transaction caused a retry, because optind had been obliterated.
Achieve this by splitting the main body of the loop off to a separate function,
meaning that we get rid of the goto out at the same time.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added missing __init__.py.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix vcpu-hotplug xenbus watch handler and setup.
Signed-off-by: Keir Fraser <keir@xensource.com>

Better cast for ptr->int in residerfs module.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix Xen public interfaces and the tools to consistently
use stdint-format bitsize types (uint32_t and friends).

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix deadlock in XendDomainInfo when a domain is cleaned up.  We are renaming
the domain, to make it clear that it is a zombie, but this renaming cannot
check the uniqueness of the new name, because this causes a deadlock with
XendDomain.  Instead, we allow the name to be non-unique for the case of
zombie domains.

Change the locking in waitForShutdown and state_set to be robust in the face of
exceptions.

Rename the STATE_VM_ constants to STATE_DOM_.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Change import that was confusing pylint (this is a pylint bug, I think).

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Issue diagnostics if xm is being run as a non-root user.  This used to happen,
but the triggering error has moved, so the diagnostics were broken.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix compilation problems with xenstore.
Signed-off-by: Jerone Young <jyoung5@us.ibm.com>

This patch implements select() functionality on /dev/vtpm and fixes some
other problems.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Fix PAE overflow in xc_linux_build.
Signed-off-by: srparish@us.ibm.com

Error print on err path.
Signed-off-by: srparish@us.ibm.com

The NAT scripts currently work, but the changes below decrease user
error and allow the netmask to be passed in.

Signed-off-by: Jon Mason <jdmason@us.ibm.com>

Hide the VMX cpu feature from unmodified Guests.

Signed-Off-By: Nitin A Kamble <nitin.a.kamble@intel.com>

Merged

Fixes for correct itir handling in vcpu_translate (broke simulator)

Merged.

Bring out the common console-handling code from main.py and create.py.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added auxbin module, for handling auxillary binaries.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Remove bang path.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Allow parallel 32- and 64-bit Xen installations.  Move xc_save, xc_restore,
and xenconsole out of /usr/libexec/xen and into one of /usr/lib/xen/bin or
/usr/lib64/xen/bin.  Remove all the PATH hacking inside Xend, and rely upon
the PATH being set correctly from outside.  Added an auxbin module for
handling the hacky stuff.

Replace the few /usr/bin/python bang paths with /usr/bin/env python.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added xsls to xenstore Makefile install dependencies to fix "make dist".

Signed-off-by: James Bulpin <james@xensource.com>

Publish the virtual console interface in public/io/console.h.
Make the ring buffers a powe-of-two in size.

Signed-off-by: Keir Fraser <keir@xensource.com>

Xenstore client library spawns a reader thread the first
time a watch is registered. Before this it is fine for
caller threads to read the comms channel directly as no
async messages will be received.

This avoids various user tools needlessly creating three
threads where one will do the job.

Signed-off-by: Keir Fraser <keir@xensource.com>

Echo request and transaction identifiers in xenstored
replies (and set to zero for async watch events).

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix xenbus internal join() function to be concurrency safe
(no static string buffer).

Signed-off-by: Keir Fraser <keir@xensource.com>

Added missing global statement, to ensure that the logfilename variable is
updated.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix broken xm commands.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added doccomment.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added xsls utility, which recursively lists the contents of the store.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix 64-bit compile of pygrub. From Charles Duffy.

Fix the legacy %-build targets for dist installation of
guest kernels.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix for "unsubscriptable object" error, courtesy of Kurt Garloff
<garloff@suse.de> -- missing comma in op_mem_target_set.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix changeset banner for source tarballs.
Signed-off-by: Keir Fraser <keir@xensource.com>

Local repo version number in Xen boot log.
Signed-off-by: Dan Smith <danms@us.ibm.com>

Kernel makefiles do not define $(LN).
Signed-off-by: Rik van Riel <riel@redhat.com>

This patch fixes an error in the xm create path when the
xc.domain_create call fails (eg, when ACM policy prevents creation of a
domain).  When xc.domain_create fails, dompath never gets set.

Signed-off-by: Tom Lendacky <toml@us.ibm.com>

When a domain is introduced to xenstored, check whether this has already
happened, and only return EINVAL if the event channel details have changed.
This allows Xend to introduce domains when it starts without having to be
concerned about whether xenstored has restarted at the same time.  This
behaviour used to be subsumed by the bind_interdomain semantics for existing
channels, but in the simplification of that interface, the check must now move
to userspace.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Mention -s option in usage.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix completely broken xenstore_read function.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Fix cancellation of pending watch events on watch unregistration.
Use wait_event_interruptible() so that our kernel threads spend
their time in the more acceptable 'S' state rather than the more
worrying 'D' state.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fire watch callbacks on their own workqueue. Mainly this is
to make debugging easier (it's hard if an error takes out
the default workqueue!). Also, watch callbacks can be
arbitrarily long-lived, so it's more polite.

Signed-off-by: Keir Fraser <keir@xensource.com>

Merged.

Rewritten XendLogging to not be a singleton class, and not have methods used
from nowhere at all.

Log to a temporary file if permission is denied to log to /var/log/xend.log,
as happens when you are not root.  Fixes bug #305.

Remove all the log-related garbage from XendRoot -- just about every module
was going straight to XendLogging.log already, so there was no need to have
XendRoot replicate this functionality.

Remove XendRoot.event_handler, which hasn't been in use since the EventServer
was removed.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

xenstored now supports multiple concurrent transactions per
connection, plus interleaving of transactional and
non-transactional accesses. A transaction identifier is added
to the xsd_sockmsg header structure (0 means 'not in context
of a transaction'). The user and kernel xs interfaces accept
a pointer to a transaction handle where appropriate --
currently this is directly cast to an integer identifier in
the client library / kernel driver, but will allow for keeping
extra dynamic client-side state in future if we need to.

The transaction mutex has now gone. It's replaced with a
read-write mutex, but this is only acquired for exclusive
access during suspend/resume, to ensure there are no in-progress
transactions.

Signed-off-by: Keir Fraser <keir@xensource.com>

Merged.

Added error logging to the block hotplug script, and support facilities for
that.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

No need to gate xenstored reading requests from a
connection on whether there are pending replies/watches.
Signed-off-by: Keir Fraser <keir@xensource.com>

Simplify reply logic in xenstored. Maintain a linked list
of pending replies that are sent out in order.

Currently we only read new requests when the reply list is
empty. In fact there is no good reason for this restriction.
Another interesting point is that (on my test machine)
hotplug blk setup fails if xenstored_client connects to
xenstored via the unix domain socket rather than through the
kernel --- this points to some user/kernel races that are
'fixed' by the extra serialisation of the in-kernel mutexes.
It definitely needs looking into.

Signed-off-by: Keir Fraser <keir@xensource.com>

Extend xenbus/xenstore client interface to include a transaction
handle on appropriate operations. Next step is to plug this
through to the store daemon and get rid of the nasty serialisation
mutex for transactions.

Signed-off-by: Keir Fraser <keir@xensource.com>

Added some clarifying comments regarding xenbus/xenstore kernel startup.

Signed-off-by: Steven Hand <steven@xensource.com>

Refactor xenbus to break up the xenbus_lock and permit watches
to fire concurrently with request/reply pairs. Remove
watch_ack message: no longer needed.

Signed-off-by: Keir Fraser <keir@xensource.com>

Don't increment mi->usage is alloc_major_info return NULL

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Fix cpu hotplug issue with SMP guests (including save/restore).
Was a nasty one - worth ensuring we cast to u64 whenever playing
with Xen time values.

Signed-off-by: Steven Hand <steven@xensource.com>

Convert a few privops to existing hyperprivops in xenlinux

Alter logging statements to move the interpolation inside the logging function,
meaning that it will only occur if the message is to be logged.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Remove unnecessary extraction of ssidref from config inside restore -- this
is now handled by the construct call, which restore has recently started using.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

/home/emellor/log2

Remove cruft.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Remove code seeding RNG from /dev/urandom.  The random module's default RNG is
already seeded from the clock, so this is unnecessary, non-portable, and
expensive.  This should improve start-up time of Xend.  Replace twisty maze of
code with something sensible.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Append a newline to error messages, so that they are parsed by XendCheckpoint.py
correctly.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Change xenbus callbacks to match new signature of xenbus_watch.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Still more updating ia64 to xen-unstable

More updating ia64 to latest xen-unstable

Update ia64 to keep up with core changes

Merge

Make libxenstore thread-safe. It also spawns an internal
thread to read messages from the comms channel.

Signed-off-by: Keir Fraser <keir@xensource.com>

Add support for fast mov_to_kr privops
Signed-off by: Dan Magenheimer <dan.magenheimer@hp.com>